Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

Contrastive deep graph clustering, which aims to divide nodes into disjoint groups via contrastive mechanisms, is a challenging research spot. Among the recent works, hard sample mining-based algorithms have achieved great attention for their promising performance. However, we find that the existing hard sample mining methods have two problems as follows. 1) In the hardness measurement, the important structural information is overlooked for similarity calculation, degrading the representativeness of the selected hard negative samples. 2) Previous works merely focus on the hard negative sample pairs while neglecting the hard positive sample pairs. Nevertheless, samples within the same cluster but with low similarity should also be carefully learned. To solve the problems, we propose a novel contrastive deep graph clustering method dubbed Hard Sample Aware Network (HSAN) by introducing a comprehensive similarity measure criterion and a general dynamic sample weighing strategy. Concretely, in our algorithm, the similarities between samples are calculated by considering both the attribute embeddings and the structure embeddings, better revealing sample relationships and assisting hardness measurement. Moreover, under the guidance of the carefully collected high-confidence clustering information, our proposed weight modulating function will first recognize the positive and negative samples and then dynamically up-weight the hard sample pairs while down-weighting the easy ones. In this way, our method can mine not only the hard negative samples but also the hard positive sample, thus improving the discriminative capability of the samples further. Extensive experiments and analyses demonstrate the superiority and effectiveness of our proposed method.

Credit assignment problem of neural networks refers to evaluating the credit of each network component to the final outputs. For an untrained neural network, approaches to tackling it have made great contributions to parameter update and model revolution during the training phase. This problem on trained neural networks receives rare attention, nevertheless, it plays an increasingly important role in neural network patch, specification and verification. Based on Koopman operator theory, this paper presents an alternative perspective of linear dynamics on dealing with the credit assignment problem for trained neural networks. Regarding a neural network as the composition of sub-dynamics series, we utilize step-delay embedding to capture snapshots of each component, characterizing the established mapping as exactly as possible. To circumvent the dimension-difference problem encountered during the embedding, a composition and decomposition of an auxiliary linear layer, termed minimal linear dimension alignment, is carefully designed with rigorous formal guarantee. Afterwards, each component is approximated by a Koopman operator and we derive the Jacobian matrix and its corresponding determinant, similar to backward propagation. Then, we can define a metric with algebraic interpretability for the credit assignment of each network component. Moreover, experiments conducted on typical neural networks demonstrate the effectiveness of the proposed method.

拜占庭式联合学习（FL）旨在对抗恶意客户并培训准确的全球模型，同时保持极低的攻击成功率。然而，大多数现有系统仅在诚实/半hon最达克的多数设置中都具有强大的功能。 FLTRUST（NDSS '21）将上下文扩展到对客户的恶意多数，但在训练之前，应在训练之前为服务器提供辅助数据集，以便过滤恶意输入。私人火焰/flguard（Usenix '22）提供了一种解决方案，以确保在半多数上下文中既有稳健性和更新机密性。到目前为止，不可能平衡恶意背景，鲁棒性和更新机密性之间的权衡。为了解决这个问题，我们提出了一种新颖的拜占庭式bybust和隐私的FL系统，称为简介，以捕获恶意的少数群体和多数服务器和客户端。具体而言，基于DBSCAN算法，我们设计了一种通过成对调整的余弦相似性聚类的新方法，以提高聚类结果的准确性。为了阻止多数攻击恶意的攻击，我们开发了一种称为模型分割的算法，在该算法中，同一集群中的本地更新聚集在一起，并且将聚合正确地发送回相应的客户端。我们还利用多种密码工具来执行聚类任务，而无需牺牲培训正确性并更新机密性。我们介绍了详细的安全证明和经验评估以及简要的收敛分析。实验结果表明，简介的测试精度实际上接近FL基线（平均为0.8％的差距）。同时，攻击成功率约为0％-5％。我们进一步优化了设计，以便可以分别降低{67％-89.17％和66.05％-68.75％}的通信开销和运行时。

真实世界的文本应用程序通常涉及组成广泛的文本控制操作，例如编辑文本W.R.T.属性，操纵关键字和结构，并生成所需属性的新文本。事先的工作通常会学习/芬太尼语言模型（LM）以执行操作的个人或特定子集。最近的研究以插件方式研究了合并操作，通常在复杂序列空间中以昂贵的搜索或优化进行了研究。本文提出了一种新的有效方法，用于在紧凑的文本潜在空间中进行可复合的文本操作。文本潜在矢量的低维度和不同性使我们能够基于给定的任意插入运算符（例如属性分类器）基于普通微分方程（ODE）开发有效的采样器。通过通过有效的适应性将预告片的LMS（例如GPT2）连接到潜在空间，然后我们将采样向量解码为所需的文本序列。灵活的方法允许使用来自不同域中的任何相关数据获取的各种控制操作员（情感，时态，形式，关键字等）。实验表明，在我们的方法中构成这些操作员可以生成或编辑高质量文本，从而在发电质量和效率方面显着改善了以前的方法。

联合超分辨率和反音调映射（联合SR-ITM）旨在增加低分辨率和标准动态范围图像的分辨率和动态范围。重点方法主要是诉诸图像分解技术，使用多支化的网络体系结构。 ，这些方法采用的刚性分解在很大程度上将其力量限制在各种图像上。为了利用其潜在能力，在本文中，我们将分解机制从图像域概括为更广泛的特征域。为此，我们提出了一个轻巧的特征分解聚合网络（FDAN）。特别是，我们设计了一个功能分解块（FDB），可以实现功能细节和对比度的可学习分离。通过级联FDB，我们可以建立一个用于强大的多级特征分解的分层功能分解组。联合SR-ITM，\ ie，SRITM-4K的新基准数据集，该数据集是大规模的，为足够的模型培训和评估提供了多功能方案。两个基准数据集的实验结果表明，我们的FDAN表明我们的FDAN有效，并且胜过了以前的方法sr-itm.ar代码和数据集将公开发布。

人类对象相互作用（HOI）识别的关键是推断人与物体之间的关系。最近，该图像的人类对象相互作用（HOI）检测取得了重大进展。但是，仍然有改善视频HOI检测性能的空间。现有的一阶段方法使用精心设计的端到端网络来检测视频段并直接预测交互。它使网络的模型学习和进一步的优化更加复杂。本文介绍了空间解析和动态时间池（SPDTP）网络，该网络将整个视频作为时空图作为人类和对象节点作为输入。与现有方法不同，我们提出的网络通过显式空间解析预测交互式和非相互作用对之间的差异，然后执行交互识别。此外，我们提出了一个可学习且可区分的动态时间模块（DTM），以强调视频的关键帧并抑制冗余帧。此外，实验结果表明，SPDTP可以更多地关注主动的人类对象对和有效的密钥帧。总体而言，我们在CAD-1220数据集和某些ELSE数据集上实现了最先进的性能。

去耦时尚表示是指将空间和时间特征分解成尺寸无关的因素。尽管以前的基于RGB-D的运动识别方法通过紧密耦合的多模态时空表示来实现了有希望的性能，但由于紧密的时空缠绕的建模，它们仍然在小数据设置下遭受（i）优化困难;（ii）信息冗余通常包含与分类弱相关的大量边际信息; （iii）由晚期融合不足引起的多模态起峰型信息之间的低相互作用。为了缓解这些缺点，我们建议去除并循环基于RGB-D的运动识别的时空表示。具体而言，我们解开了学习时空表示的任务到3个子任务：（1）通过解耦的空间和时间建模网络学习高质量和维度独立特征。 （2）重新汇总解耦表示，以确定更强的时空依赖。 （3）引入跨型自适应后融合（CAPF）机制，用于从RGB-D数据捕获跨模态时空信息。这些新颖设计的无缝组合形成了强大的时空表示，而不是在四个公共运动数据集上的最先进的方法实现了更好的性能。我们的代码可在https://github.com/damo-cv/motionrgbd获得。

更广泛的人重新识别（Reid）在最近的计算机视觉社区中引起了不断的关注。在这项工作中，我们在身份标签，特定特定因素（衣服/鞋子颜色等）和域特定因素（背景，观点等）之间构建结构因果模型。根据因果分析，我们提出了一种新颖的域不变表示，以获得概括的人重新识别（DIR-REID）框架。具体而言，我们首先建议解散特定于特定的和域特定的特征空间，我们提出了一种有效的算法实现，用于后台调整，基本上是朝向SCM的因果干预。已经进行了广泛的实验，表明Dir-Reid在大规模域泛化Reid基准上表现出最先进的方法。

在对象检测中，边界框回归（BBR）是决定对象定位性能的关键步骤。但是，我们发现BBR的大多数先前的损失功能都有两个主要缺点：（i）$ \ ell_n $ -norm和IOU基于IOU的损失功能都无法效率地描述BBR的目标，这会导致收敛速度缓慢和不准确的回归结果。 。 （ii）大多数损失函数都忽略了BBR中的不平衡问题，即与目标盒有较小重叠的大量锚盒对BBR的优化有最大的影响。为了减轻造成的不利影响，我们进行了彻底的研究，以利用本文中BBR损失的潜力。首先，提出了有关联合（EIOU）损失的有效交集，该交集明确测量了BBR中三个几何因素的差异，即重叠面积，中心点和侧面长度。之后，我们说明有效的示例挖掘（EEM）问题，并提出了焦点损失的回归版本，以使回归过程集中在高质量的锚点上。最后，将上述两个部分组合在一起以获得新的损失函数，即焦点损失。对合成数据集和真实数据集进行了广泛的实验。与其他BBR损失相比，在收敛速度和定位精度上都可以显着优势。